不想被爬虫爬取网站，最常用的就是拦截爬虫。

名目很重要， 如下： ^/index/index/aaa.php 只需要添加^/index/index/aaa.php 到URL 黑名单即可 原文地点：https://www.bt.cn/bbs/thread-57589-1-1.html 。

比方误拦截的url如下： /index/index/aaa.php?id=eradasaadas 你只需要填写他的URL 不需要添加他的参数。

只需要把他要害词插手进去即可拦截(不会写拦截日志) 2.3IP白名单 这个就不需要去叙述了吧 2.4 IP黑名单 填写你需要拦截的IP即可 2.5 URL白名单( 需要留意名目 ) 这个处所需要出格留意了，比方误拦截的url如下： /index/index/aaa.php?id=eradasaadas 你只需要填写他的URL 不需要添加他的参数， 一、种种利害名单的简介 首先说明一下: UA白名单 --初始化阶段User-Agent白名单 UA黑名单 --初始化阶段User-Agent黑名单 IP白名单 --所有法则对IP白名单无效 IP黑名单 ---克制会见的IP URL白名单 ---大部门法则对URL白名单无效 URL黑名单 --克制会见的URL地点 二、防止配置 2.1 UA 白名单( 假如没有需要默认即可 ) 没有非凡需求默认就行了 2.2 UA 黑名单( 拦截恶意蜘蛛UA ) 这里的话， 如下： ^/index/index/aaa.php 只需要添加^/index/index/aaa.php 到URL 白名单即可 2.6 URL黑名单( 需要留意名目 ) 这个处所需要出格留意了， 名目很重要，。